对应匹配是计算机视觉和机器人技术应用中的一个基本问题。最近使用神经网络解决对应匹配问题最近正在上升。旋转等级和比例等级性在对应匹配应用中都至关重要。经典的对应匹配方法旨在承受缩放和旋转转换。但是，使用卷积神经网络（CNN）提取的功能仅在一定程度上是翻译等值的。最近，研究人员一直在努力改善基于群体理论的CNN的旋转均衡性。 SIM（2）是2D平面中的相似性转换组。本文介绍了专门用于评估SIM（2） - 等级对应算法的专门数据集。我们比较了16个最先进（SOTA）对应匹配方法的性能。实验结果表明，在各种SIM（2）转换条件下，组模棱两可算法对于对应匹配的重要性。由于基于CNN的对应匹配方法达到的子像素精度不令人满意，因此该特定领域需要在未来的工作中获得更多关注。我们的数据集可公开可用：mias.group/sim2e。
translated by 谷歌翻译
我们在本文中解决了广义类别发现（GCD）的问题，即从一组可见的类中利用信息的未标记的图像，其中未标记的图像可以包含可见的类和看不见的类。可以将所见类看作是类的隐式标准，这使得此设置不同于无监督的聚类，而集群标准可能模棱两可。我们主要关注在细粒数据集中发现类别的问题，因为它是类别发现的最直接应用程序之一，即帮助专家使用所见类规定的隐性标准在未标记的数据集中发现新颖概念。通用类别发现的最新方法杠杆对比度学习以学习表示形式，但是较大的类间相似性和阶层内差异对方法提出了挑战，因为负面示例可能包含无关的线索，以识别类别因此，算法可能会收敛到局部微米。我们提出了一种名为“专家对抗性学习（XCON）”的新颖方法，可以通过将数据集使用K-均值聚类将数据集划分为子数据库，然后对每个子数据集进行对比度学习，从而帮助模型从图像中挖掘有用的信息。学习细粒度的判别特征。在细粒度数据集上的实验表明，与以前的最佳方法相比，性能明显改善，表明我们方法的有效性。
translated by 谷歌翻译
We present a unified hard-constraint framework for solving geometrically complex PDEs with neural networks, where the most commonly used Dirichlet, Neumann, and Robin boundary conditions (BCs) are considered. Specifically, we first introduce the "extra fields" from the mixed finite element method to reformulate the PDEs so as to equivalently transform the three types of BCs into linear forms. Based on the reformulation, we derive the general solutions of the BCs analytically, which are employed to construct an ansatz that automatically satisfies the BCs. With such a framework, we can train the neural networks without adding extra loss terms and thus efficiently handle geometrically complex PDEs, alleviating the unbalanced competition between the loss terms corresponding to the BCs and PDEs. We theoretically demonstrate that the "extra fields" can stabilize the training process. Experimental results on real-world geometrically complex PDEs showcase the effectiveness of our method compared with state-of-the-art baselines.
translated by 谷歌翻译
基于深度学习的方法，例如物理知识的神经网络（PINN）和DeepOnets已显示出解决PDE受约束优化（PDECO）问题的希望。但是，现有方法不足以处理对优化目标具有复杂或非线性依赖性的PDE约束。在本文中，我们提出了一个新颖的双层优化框架，以通过将目标和约束的优化解耦来解决挑战。对于内部循环优化，我们采用PINN仅解决PDE约束。对于外循环，我们通过基于隐式函数定理（IFT）使用Broyden的方法来设计一种新颖的方法，该方法对于近似高度级别而言是有效且准确的。我们进一步介绍了高度级计算的理论解释和误差分析。在多个大规模和非线性PDE约束优化问题上进行了广泛的实验表明，与强基础相比，我们的方法可实现最新的结果。
translated by 谷歌翻译
重要性采样（IS）是非政策评估中的一种流行技术，它重新赋予了重播缓冲液中轨迹的回归以提高样本效率。但是，对IS进行培训可能是不稳定的，以前试图解决此问题的尝试主要集中于分析IS的差异。在本文中，我们揭示了不稳定性与IS的重复使用偏见的新概念有关 - 由重复使用缓冲液重用进行评估和优化引起的非政策评估偏差。从理论上讲，我们证明了对当前策略的非政策评估和优化，并通过重播缓冲区的数据导致目标高估，这可能会导致错误的梯度更新并退化性能。我们进一步提供了重复使用偏差的高概率上限，并表明控制上限的一个项可以通过引入非政策算法的稳定性概念来控制重复使用偏置。基于这些分析，我们最终提出了一种新颖的偏见调查重要性抽样（BIRIS）框架以及实际算法，可以减轻重复使用偏见的负面影响。实验结果表明，我们基于BIRIS的方法可以显着提高一系列连续控制任务的样品效率。
translated by 谷歌翻译
为了满足各种用户需求，近年来对图形布局的不同子任务进行了深入探讨。现有研究通常提出具有不同投入输出格式，专用模型体系结构和不同学习方法的任务特异性方法。但是，这些专业的方法使得适应了看不见的子任务，阻碍了不同子任务之间的知识共享，并且与设计通用模型的趋势背道而驰。在这项工作中，我们提出了Unilayout，该Unilayout以统一的方式处理图形布局生成的不同子任务。首先，我们统一地表示子任务的各种输入和输出作为令牌序列。然后，基于统一的序列格式，我们自然利用具有不同子任务的变压器的相同的编码器架构。此外，基于上述两种统一，我们进一步开发了一个同时支持所有子任务的单个模型。在两个公共数据集上的实验表明，尽管简单，单层虽然明显优于先前的特定于任务的方法。
translated by 谷歌翻译
诸如随机平滑之类的认证防御能力已显示出对$ \ ell_p $ norm边界攻击构建可靠的机器学习系统的承诺。但是，现有方法不足或无法证明对语义转换，尤其是那些没有封闭形式表达的语义转换（例如depocus Blur和像素化），这在实践中更常见，而且通常不受限制。为了填补这一空白，我们提出了广义随机平滑（GSMOOTH），这是一个统一的理论框架，可通过新颖的维度增强策略来证明对一般语义转换的鲁棒性。在GSMooth框架下，我们提出了一种可扩展的算法，该算法使用替代图像到图像网络来近似复杂的转换。替代模型为研究语义转换的属性和证明鲁棒性提供了强大的工具。几个数据集的实验结果证明了我们对多种语义转换和腐败的鲁棒性认证方法的有效性，这是替代基线无法实现的。
translated by 谷歌翻译
文本样式传输（TST）旨在在保持相同内容的同时将源文本的底层样式更改为另一种特定样式。由于高质量平行训练数据的稀缺性，无监督的学习已成为TST任务的趋势方向。在本文中，我们提出了一种新的基于VAE的文本方式转移，具有Pivot词增强学习（VT-LOWER）方法，该方法利用变分AutiConder（VAE）和外部风格嵌入，共同学习语义和风格分布。此外，我们介绍了枢轴词学习，它用于学习特定风格的决定性词语，从而进一步提高风格转移的整体性能。所提出的vt-rtower可以缩放到不同的TST场景，因为具有新颖和灵活的风格强度控制机制的非常有限和非平行训练数据。实验表明，VT-BURER优于语言，形式和代码切换TST任务的最先进。
translated by 谷歌翻译
尽管深度神经网络在图形分析方面取得了巨大的成功，但最近的工作表明它们容易受到对抗攻击的影响。与对图像分类的对抗性攻击相比，在图形上执行对抗性攻击更具挑战性，因为图形的相邻矩阵的离散性和非差异性质。在这项工作中，我们提出了集群攻击 - 对节点分类的图形注射攻击（GIA），该攻击将假节点注入原始图中，以使某些受害者节点的图形神经网络（GNN）的性能退化，同时将其他节点视为其他节点几乎没有。我们证明，GIA问题可以等效地作为图形聚类问题。因此，可以在图形聚类的上下文中解决邻接矩阵的离散优化问题。特别是，我们建议通过对受害者漏洞度量来衡量受害者节点之间的相似性，这与受害者节点将如何受到注入的假节点的影响有关，并相应地将受害者节点群集成。我们的攻击是以实用且不明显的基于查询的黑盒方式进行的，图表上只有几个节点可以访问。理论分析和广泛的实验通过仅使用少量查询来欺骗节点分类器，证明了我们方法的有效性。
translated by 谷歌翻译
Compressed videos often exhibit visually annoying artifacts, known as Perceivable Encoding Artifacts (PEAs), which dramatically degrade video visual quality. Subjective and objective measures capable of identifying and quantifying various types of PEAs are critical in improving visual quality. In this paper, we investigate the influence of four spatial PEAs (i.e. blurring, blocking, bleeding, and ringing) and two temporal PEAs (i.e. flickering and floating) on video quality. For spatial artifacts, we propose a visual saliency model with a low computational cost and higher consistency with human visual perception. In terms of temporal artifacts, self-attention based TimeSFormer is improved to detect temporal artifacts. Based on the six types of PEAs, a quality metric called Saliency-Aware Spatio-Temporal Artifacts Measurement (SSTAM) is proposed. Experimental results demonstrate that the proposed method outperforms state-of-the-art metrics. We believe that SSTAM will be beneficial for optimizing video coding techniques.
translated by 谷歌翻译